<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  
  
  <title>Hexo</title>
  <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
  <meta name="description" content="课程名称∶导数、梯度及矩阵运算一、实验介绍1.1实验内容 虽然在实验一中我想尽量少的引入(会让人放弃继续学习的）数学概念，但我似乎还是失败了。不过这几乎是没有办法的事，要想真正学会深度学习，没有一定的数学基础（高等数学、线性代数、概率论、信息论等），(几乎）是不可能的。学深度学习不学其中的原理你可能能够学会搭建模型，但当模型出了问题或者无法训练出好的结果时，不懂原理是很难调试的。1.2实验知识点">
<meta property="og:type" content="article">
<meta property="og:title" content="Hexo">
<meta property="og:url" content="https://goofyer.gitee.io/notes-on-computer-expertise/2022/02/11/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/%E5%AF%BC%E6%95%B0%E3%80%81%E6%A2%AF%E5%BA%A6%E5%8F%8A%E7%9F%A9%E9%98%B5%E8%BF%90%E7%AE%97/index.html">
<meta property="og:site_name" content="Hexo">
<meta property="og:description" content="课程名称∶导数、梯度及矩阵运算一、实验介绍1.1实验内容 虽然在实验一中我想尽量少的引入(会让人放弃继续学习的）数学概念，但我似乎还是失败了。不过这几乎是没有办法的事，要想真正学会深度学习，没有一定的数学基础（高等数学、线性代数、概率论、信息论等），(几乎）是不可能的。学深度学习不学其中的原理你可能能够学会搭建模型，但当模型出了问题或者无法训练出好的结果时，不懂原理是很难调试的。1.2实验知识点">
<meta property="og:locale" content="en_US">
<meta property="article:published_time" content="2022-02-11T11:50:02.846Z">
<meta property="article:modified_time" content="2022-02-11T12:06:13.370Z">
<meta property="article:author" content="John Doe">
<meta name="twitter:card" content="summary">
  
    <link rel="alternate" href="/notes-on-computer-expertise/atom.xml" title="Hexo" type="application/atom+xml">
  
  
    <link rel="shortcut icon" href="/notes-on-computer-expertise/favicon.png">
  
  
    
<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/typeface-source-code-pro@0.0.71/index.min.css">

  
  
<link rel="stylesheet" href="/notes-on-computer-expertise/css/style.css">

  
    
<link rel="stylesheet" href="/notes-on-computer-expertise/fancybox/jquery.fancybox.min.css">

  
<meta name="generator" content="Hexo 5.4.0"></head>

<body>
  <div id="container">
    <div id="wrap">
      <header id="header">
  <div id="banner"></div>
  <div id="header-outer" class="outer">
    <div id="header-title" class="inner">
      <h1 id="logo-wrap">
        <a href="/notes-on-computer-expertise/" id="logo">Hexo</a>
      </h1>
      
    </div>
    <div id="header-inner" class="inner">
      <nav id="main-nav">
        <a id="main-nav-toggle" class="nav-icon"></a>
        
          <a class="main-nav-link" href="/notes-on-computer-expertise/">Home</a>
        
          <a class="main-nav-link" href="/notes-on-computer-expertise/archives">Archives</a>
        
      </nav>
      <nav id="sub-nav">
        
          <a id="nav-rss-link" class="nav-icon" href="/notes-on-computer-expertise/atom.xml" title="RSS Feed"></a>
        
        <a id="nav-search-btn" class="nav-icon" title="Search"></a>
      </nav>
      <div id="search-form-wrap">
        <form action="//google.com/search" method="get" accept-charset="UTF-8" class="search-form"><input type="search" name="q" class="search-form-input" placeholder="Search"><button type="submit" class="search-form-submit">&#xF002;</button><input type="hidden" name="sitesearch" value="https://goofyer.gitee.io/notes-on-computer-expertise"></form>
      </div>
    </div>
  </div>
</header>

      <div class="outer">
        <section id="main"><article id="post-神经网络/导数、梯度及矩阵运算" class="h-entry article article-type-post" itemprop="blogPost" itemscope itemtype="https://schema.org/BlogPosting">
  <div class="article-meta">
    <a href="/notes-on-computer-expertise/2022/02/11/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/%E5%AF%BC%E6%95%B0%E3%80%81%E6%A2%AF%E5%BA%A6%E5%8F%8A%E7%9F%A9%E9%98%B5%E8%BF%90%E7%AE%97/" class="article-date">
  <time class="dt-published" datetime="2022-02-11T11:50:02.846Z" itemprop="datePublished">2022-02-11</time>
</a>
    
  </div>
  <div class="article-inner">
    
    
    <div class="e-content article-entry" itemprop="articleBody">
      
        <h1 id="课程名称∶导数、梯度及矩阵运算"><a href="#课程名称∶导数、梯度及矩阵运算" class="headerlink" title="课程名称∶导数、梯度及矩阵运算"></a>课程名称∶导数、梯度及矩阵运算</h1><h2 id="一、实验介绍"><a href="#一、实验介绍" class="headerlink" title="一、实验介绍"></a>一、实验介绍</h2><h3 id="1-1实验内容"><a href="#1-1实验内容" class="headerlink" title="1.1实验内容"></a>1.1实验内容</h3><ul>
<li>虽然在实验一中我想尽量少的引入(会让人放弃继续学习的）数学概念，但我似乎还是失败了。不过这几乎是没有办法的事，要想真正学会深度学习，没有一定的数学基础（高等数学、线性代数、概率论、信息论等），(几乎）是不可能的。学深度学习不学其中的原理你可能能够学会搭建模型，但当模型出了问题或者无法训练出好的结果时，不懂原理是很难调试的。<h3 id="1-2实验知识点"><a href="#1-2实验知识点" class="headerlink" title="1.2实验知识点"></a>1.2实验知识点</h3></li>
<li>导数、偏导、梯度、链式法则</li>
<li>矩阵运算基本法则</li>
<li>NumPy基本运算介绍<h3 id="1-3实验环境"><a href="#1-3实验环境" class="headerlink" title="1.3实验环境"></a>1.3实验环境</h3></li>
<li>Python3</li>
<li>NumPy<h2 id="二、实验步骤"><a href="#二、实验步骤" class="headerlink" title="二、实验步骤"></a>二、实验步骤</h2><h3 id="2-1导数、偏导、梯度、复合函数求导链式法则"><a href="#2-1导数、偏导、梯度、复合函数求导链式法则" class="headerlink" title="2.1导数、偏导、梯度、复合函数求导链式法则"></a>2.1导数、偏导、梯度、复合函数求导链式法则</h3><h4 id="2-1-1函数值随自变量的变化速率—导数"><a href="#2-1-1函数值随自变量的变化速率—导数" class="headerlink" title="2.1.1函数值随自变量的变化速率—导数"></a>2.1.1函数值随自变量的变化速率—导数</h4></li>
<li>高中数学里面我们已经学过，函数值随自变星的变化速率是导数。导数衡量的，其实是一个变量对函数值影响能力的大小。导数值越大，则该变量每改变一点对最终函数值的影响越大。且导数值为正时，代表自变量增大时函数值增大，反之若导数值为负，则自变量增大时函数值减小。常见函数的导函数︰<br>原函数f    导函数f’<br>任何常数    0<br>x    1<br>ehx    ehx<br>x^2    2*x<br>1/x    -1/x^2<br>ln(x)    1/x</li>
</ul>
<h4 id="2-1-2从单变量到多变量—偏导"><a href="#2-1-2从单变量到多变量—偏导" class="headerlink" title="2.1.2从单变量到多变量—偏导"></a>2.1.2从单变量到多变量—偏导</h4><ul>
<li>上面我们列举的都是只有一个自变量的函数，如果自变量有多个，如何求导数呢?比如对于函数f=x+y，怎样衡量×和y 分别对函数值f的影响快慢呢﹖数学上引入了偏导的概念，对一个多变量函数f，求f对其中一个自变量x的偏导很简单，就是将与×无关的其他自变量视为常量，再使用单变星求导的方法去求导。得到的即为f对x的偏导。比如∶</li>
<li>令f=x+2y,则f对×求偏导的结果为1，对y 求偏导的结果为2。令f=x*y,则f对x求偏导结果为y，对y求偏导结果为x。<h4 id="2-1-3多变量函数变化最快的方向—梯度"><a href="#2-1-3多变量函数变化最快的方向—梯度" class="headerlink" title="2.1.3多变量函数变化最快的方向—梯度"></a>2.1.3多变量函数变化最快的方向—梯度</h4></li>
<li>2.1.1中我们提到了，对单变量函数来说，导数值的正负代表自变量对函数值影响的“方向”:变大或变小。那对于多变量函数来说，如何表达这个方向呢?这就引入了梯度的概念∶</li>
<li>梯度是一个向量，向星长度与自变量的个数相等，且其中的每一个元素为函数对于对应变星求偏导的值。</li>
<li>比如对于函数f=x*y,其梯度向量为(y,x)，对于具体的自变量的值，比如x=1,y=1的点，其梯度向量就为(1,1)，又比如x=10,y=-20点，其梯度向量就为(-20,18)。</li>
<li>梯度作为一个向量，指向的是使函数值增大最快的方向(回想第一次实验中的损失函数图，梯度所指的方向是向上的)。<h4 id="2-1-4复合函数求导链式法则"><a href="#2-1-4复合函数求导链式法则" class="headerlink" title="2.1.4复合函数求导链式法则"></a>2.1.4复合函数求导链式法则</h4></li>
<li><p>上面我们讲的求导数和求偏导，都是对于“简单函数”，对于“复合函数”，比如下面这样的函数︰<br>f1(x)=1/x<br>f2(x)=eox<br>f=f1(f2(x))</p>
</li>
<li><p>f函数是一个复合函数，它由f1和f2函数“串联”而来。其中f1的输入是f2的输出。</p>
</li>
<li>对于复合函数求导，一种方法是将复合函数展开，比如对于上面的函数，得到f-1/(e^x)，然后再根据简单函数求导法则对自变星求导。过程如下∶f’ = -1/(e<em>x)^2)</em>((ex) ‘) = -(e^x)/((ex)^2) = -1/(e^x)即f’ = -1/(ex)其实，在上面的求导过程中，我们已经使用了求导链式法则(chain rule)，只是你没有察觉而已。求导链式法则让我们可以一部分一部分地，对复合函数求导，而不用放在一起求。这对于编程来说十分重要，它使得对复合函数求导变得十分简单。但是这里描述起来可能稍显复杂。以f为例，当我们需要对自变量x求导时，我们可以先将f2(x)看做一个自变量f2，先让f1对f2求导，得到第一部分导函数-1/(f22)，再让f2对x求导，得到第二部分导函数e^x。求好之后，直接将两部分导数乘起来，即得到最终复合函数整体的导数。不过要先使用实际的表达式替换掉第一部分导数中的f2,即第一部分导数为-1/((e~x)”2)，第二部分导数为e^x。两部分乘起来就得到了最终正确的-1/(e^x)。现在你可能觉得这个链式法则是复杂乏味的，但是下一次实验你会发现链式法则真是太强大了。实际上，我们最后实现的深度神经网络，就是不断在运用求导链式法则。<h3 id="2-2矩阵及其基本运算性质"><a href="#2-2矩阵及其基本运算性质" class="headerlink" title="2.2矩阵及其基本运算性质"></a>2.2矩阵及其基本运算性质</h3></li>
<li>如果你上过本科线性代数课程，你十有八九会对矩阵没有什么感觉，甚至对这么一个运算法则十分奇怪的东西感到厌恶。但我希望你今后能改变对矩阵、对线性代数的看法，不要让糟糕的教材和老师糟糕的 ppt 毁掉线性代数可能带给你的巨大的提升自己(是的，这并不夸张）的机会。矩阵其实非常非常非常有用，在现代科学的每一个角落，几乎都能看到矩阵的身影，深度学习中更是如此。<h4 id="2-2-1矩阵的表达形式"><a href="#2-2-1矩阵的表达形式" class="headerlink" title="2.2.1矩阵的表达形式"></a>2.2.1矩阵的表达形式</h4></li>
<li>一个m*n的矩阵为一个m行n列的数组，比比如︰</li>
</ul>

      
    </div>
    <footer class="article-footer">
      <a data-url="https://goofyer.gitee.io/notes-on-computer-expertise/2022/02/11/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/%E5%AF%BC%E6%95%B0%E3%80%81%E6%A2%AF%E5%BA%A6%E5%8F%8A%E7%9F%A9%E9%98%B5%E8%BF%90%E7%AE%97/" data-id="cl403sxsb003rf8vu980qe0lh" data-title="" class="article-share-link">Share</a>
      
      
      
    </footer>
  </div>
  
    
<nav id="article-nav">
  
    <a href="/notes-on-computer-expertise/2022/02/19/Spring%E5%BC%80%E5%8F%91/%E7%A8%BB%E8%8D%89%E9%97%AE%E7%AD%94/%E7%A8%BB%E8%8D%89%E9%97%AE%E7%AD%94%E7%9A%84%E5%AD%A6%E4%B9%A0%EF%BC%9A%E4%B8%80%E3%80%81/" id="article-nav-newer" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Newer</strong>
      <div class="article-nav-title">
        
          稻草问答的学习：一、
        
      </div>
    </a>
  
  
    <a href="/notes-on-computer-expertise/2022/02/10/%E6%95%B0%E6%8D%AE%E5%BA%93/%E7%AC%AC24%E7%AF%87%EF%BC%9A%E5%A6%82%E4%BD%95%E6%AD%A3%E7%A1%AE%E7%9A%84%E4%BD%BF%E2%BD%A4%E7%B4%A2%E5%BC%95%EF%BC%9F/" id="article-nav-older" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Older</strong>
      <div class="article-nav-title"></div>
    </a>
  
</nav>

  
</article>


</section>
        
          <aside id="sidebar">
  
    
  <div class="widget-wrap">
    <h3 class="widget-title">Categories</h3>
    <div class="widget">
      <ul class="category-list"><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/C-%E5%B7%A5%E5%85%B7/">C#工具</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/C-%E5%B7%A5%E5%85%B7/">C++工具</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/Mysql/">Mysql</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/blender/">blender</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/linux/">linux</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/manim/">manim</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/spring/">spring</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/vba%E5%9F%BA%E7%A1%80%E6%93%8D%E4%BD%9C/">vba基础操作</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E5%88%9B%E9%80%A0%E6%A8%A1%E5%BC%8F/">创造模式</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/">操作系统</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86/">操作系统基础知识</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E5%BC%80%E5%8F%91/">操作系统开发</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%95%B0%E5%AD%A6/">数学</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/">数据结构</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86/">数据结构基础知识</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%A8%A1%E6%9D%BF/">模板</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/">深度学习</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E8%8B%B1%E8%AF%AD/">英语</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E8%99%9A%E5%B9%BB4/">虚幻4</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BB%84%E6%88%90%E5%8E%9F%E7%90%86/">计算机组成原理</a></li><li class="category-list-item"><a class="category-list-link" href="/notes-on-computer-expertise/categories/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BD%91%E7%BB%9C/">计算机网络</a></li></ul>
    </div>
  </div>


  
    
  <div class="widget-wrap">
    <h3 class="widget-title">Tags</h3>
    <div class="widget">
      <ul class="tag-list" itemprop="keywords"><li class="tag-list-item"><a class="tag-list-link" href="/notes-on-computer-expertise/tags/C/" rel="tag">C++</a></li></ul>
    </div>
  </div>


  
    
  <div class="widget-wrap">
    <h3 class="widget-title">Tag Cloud</h3>
    <div class="widget tagcloud">
      <a href="/notes-on-computer-expertise/tags/C/" style="font-size: 10px;">C++</a>
    </div>
  </div>

  
    
  <div class="widget-wrap">
    <h3 class="widget-title">Archives</h3>
    <div class="widget">
      <ul class="archive-list"><li class="archive-list-item"><a class="archive-list-link" href="/notes-on-computer-expertise/archives/2022/05/">May 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/notes-on-computer-expertise/archives/2022/03/">March 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/notes-on-computer-expertise/archives/2022/02/">February 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/notes-on-computer-expertise/archives/2022/01/">January 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/notes-on-computer-expertise/archives/2021/12/">December 2021</a></li></ul>
    </div>
  </div>


  
    
  <div class="widget-wrap">
    <h3 class="widget-title">Recent Posts</h3>
    <div class="widget">
      <ul>
        
          <li>
            <a href="/notes-on-computer-expertise/2022/05/31/vue/%E5%89%8D%E7%AB%AF%E6%A1%86%E6%9E%B6%E9%AA%8C%E8%AF%81%E7%A0%81%E6%97%A0%E6%B3%95%E6%98%BE%E7%A4%BA/">(no title)</a>
          </li>
        
          <li>
            <a href="/notes-on-computer-expertise/2022/05/26/%E6%95%B0%E6%8D%AE%E5%BA%93/navicat%E5%AE%89%E8%A3%85/">(no title)</a>
          </li>
        
          <li>
            <a href="/notes-on-computer-expertise/2022/05/25/%E8%99%9A%E5%B9%BB4%E5%BC%95%E6%93%8E%E5%BC%80%E5%8F%91/%E8%99%9A%E5%B9%BB%E5%9B%9B%20mod%E5%88%B6%E4%BD%9C/">(no title)</a>
          </li>
        
          <li>
            <a href="/notes-on-computer-expertise/2022/05/23/python/python%E6%89%B9%E9%87%8F%E7%94%9F%E6%88%90%E6%95%B0%E6%8D%AE/">(no title)</a>
          </li>
        
          <li>
            <a href="/notes-on-computer-expertise/2022/05/23/vba%E5%9F%BA%E7%A1%80%E6%93%8D%E4%BD%9C%E7%AC%94%E8%AE%B0/EXCEL%E5%9F%BA%E7%A1%80%E6%95%99%E7%A8%8B/">(no title)</a>
          </li>
        
      </ul>
    </div>
  </div>

  
</aside>
        
      </div>
      <footer id="footer">
  
  <div class="outer">
    <div id="footer-info" class="inner">
      
      &copy; 2022 John Doe<br>
      Powered by <a href="https://hexo.io/" target="_blank">Hexo</a>
    </div>
  </div>
</footer>

    </div>
    <nav id="mobile-nav">
  
    <a href="/notes-on-computer-expertise/" class="mobile-nav-link">Home</a>
  
    <a href="/notes-on-computer-expertise/archives" class="mobile-nav-link">Archives</a>
  
</nav>
    


<script src="/notes-on-computer-expertise/js/jquery-3.4.1.min.js"></script>



  
<script src="/notes-on-computer-expertise/fancybox/jquery.fancybox.min.js"></script>




<script src="/notes-on-computer-expertise/js/script.js"></script>





  </div>
<script type="text/x-mathjax-config">
    MathJax.Hub.Config({
        tex2jax: {
            inlineMath: [ ["$","$"], ["\\(","\\)"] ],
            skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code'],
            processEscapes: true
        }
    });
    MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax();
        for (var i = 0; i < all.length; ++i)
            all[i].SourceElement().parentNode.className += ' has-jax';
    });
</script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.1/MathJax.js?config=TeX-MML-AM_CHTML"></script>
</body>
</html>